其他
稀疏核机（下）—稀疏性
点击上方“大数据与人工智能”，“星标或置顶公众号”
第一时间获取好内容
作者丨stephenDC
这是作者的第8篇文章
本文是“稀疏核机”这个专题的第三篇，也是最后一篇。
在《稀疏核机（上）—SVM回顾》中，我们简单回顾了SVM的导出；在《稀疏核机（中）—核方法》中，我们从SVM的基函数扩展，引出了核方法。至此，准备工作已经完成，我们在本篇重点讨论核机的稀疏性。
主要内容包括：
稀疏核机的正式概念
SVM作为一种典型的稀疏核机，其稀疏性从何而来？
SVM是最稀疏的核机吗？
是否有办法获得比SVM更稀疏的核机？
SVM的稀疏性
我们可以从最大化Margin、Hinge损失函数、对偶问题的约束项，这3个不同的角度来理解SVM的稀疏性。
Part 1
最大化Margin
先来回顾一下，对二分类问题，Margin的意义如下图所示。表示两类样本距离分隔超平面最小距离的2倍。
对线性可分的二分类问题，有无数个超平面可以将两个类别分开，而SVM定义为最大化Margin所确定的超平面。那么，最大化Margin的意义是什么呢？
a. 使结构风险最小化：样本点距分隔超平面的距离，代表了一种分类的确信度，最大化Margin显然增加了最可能被误分类的样本的分类确信度。
b. 让分隔超平面唯一化：虽然有无数个超平面可以将两类样本分开，但同时要让Margin最大，这个超平面就唯一确定了
问题来了，这个唯一的分隔超平面跟哪些样本点有关呢？从直觉上我们很容易发现，最大化Margin的超平面至少跟离超平面很远的那些点是没有关系的。
这当然只是一种直觉式的不严谨的理解，我们下面用Hinge损失函数来说明，这种直觉是对的。
Part 2
Hinge损失函数
Part 3
对偶问题的约束项
例子：
相关向量机
与SVM相比，RVM的第一目标是稀疏性，因此我们不管Margin最大化的问题，完全换一种思路。这种思路大概分3个步骤：
a. 定义核机的模型
b. 给每个样本点定义一个参数，表示该样本跟最终预测模型的相关性
c. 在模型学习的过程中，将这些相关性参数跟其他模型参数一起学习出来
RVM模型
时至今日《稀疏核机》终于写完了，原本只是想写一篇文章的，却不想题目太大了，用三篇写完还是有些虎头蛇尾的感觉。
另外就是作者水平有限，如有幸被大神看到，还请多拍砖挑刺。最后，如果写作的这些东西，能对个别同学有些许帮助，就善莫大焉了。
-end-